Telegram Group & Telegram Channel
Forwarded from Machinelearning
🌟 Oumi: опСнсорс-Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊ ΠΏΠΎΠ»Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° для LLM.

Oumi - открытая ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ° для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ, Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½Π°, ΠΎΡ†Π΅Π½ΠΊΠΈ ΠΈ экспСримСнтов с языковыми ΠΈ ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠΌΠΎΠ΄Π°Π»ΡŒΠ½Ρ‹ΠΌΠΈ модСлями, созданная совмСстными усилиями исслСдоватСлСй ΠΈΠ· 13 Π²Π΅Π΄ΡƒΡ‰ΠΈΡ… унивСрситСтов.

Oumi прСдоставляСт инструмСнты ΠΈ Ρ€Π°Π±ΠΎΡ‡ΠΈΠ΅ процСссы для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ запуска ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Ρ… экспСримСнтов Π½Π° кластСрС, развСртывания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² Ρ€Π°Π±ΠΎΡ‡Π΅ΠΉ срСдС ΠΈ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ распрСдСлСнного обучСния (FSDP, DDP):

πŸŸ’ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈ Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΎΡ‚ 10M Π΄ΠΎ 405B ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΌΠ΅Ρ‚ΠΎΠ΄Π°ΠΌΠΈ SFT, LoRA, QLoRA ΠΈ DPO;
πŸŸ’ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΡƒ популярных сСмСйств ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ: Llama, DeepSeek, Qwen ΠΈ Phi;
πŸŸ’ΡΠΈΠ½Ρ‚Π΅Π· ΠΈ ΠΊΡƒΡ€ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… с использованиСм LLM-judge;
πŸŸ’Π±Ρ‹ΡΡ‚Ρ€ΠΎΠ΅ Ρ€Π°Π·Π²Π΅Ρ€Ρ‚Ρ‹Π²Π°Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² срСдах vLLM ΠΈ SGLang;
πŸŸ’ΠΏΡ€ΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ комплСксного Π±Π΅Π½Ρ‡ΠΌΠ°Ρ€ΠΊΠΈΠ½Π³Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΏΠΎ стандартным тСстам;
πŸŸ’Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ ΠΏΠΎ API OpenAI, Anthropic ΠΈ Vertex AI;
πŸŸ’ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Ρ†ΠΈΡ с Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΎΠΉ Transformers.

Π’ Ρ€Π΅ΠΏΠΎΠ·ΠΈΡ‚ΠΎΡ€ΠΈΠΈ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° собраны Π³ΠΎΡ‚ΠΎΠ²Ρ‹Π΅ Π½ΠΎΡƒΡ‚Π±ΡƒΠΊΠΈ ΠΈ скрипты для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΈΠ· этапов ΠΆΠΈΠ·Π½Π΅Π½Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, Π° подробная докумСнтация ΠΏΠΎ использованию ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ‚ Π»Π΅Π³ΠΊΠΎ ΠΎΡΠ²ΠΎΠΈΡ‚ΡŒ эту ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡƒ.

πŸ“ŒΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: Apache 2.0 License.


πŸŸ‘Π‘Ρ‚Π°Ρ‚ΡŒΡ
πŸŸ‘Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΡ
πŸŸ‘Π‘ΠΎΠΎΠ±Ρ‰Π΅ΡΡ‚Π²ΠΎ Π² Discord
πŸ–₯GitHub


@ai_machinelearning_big_data

#AI #ML #Oumi #Framework
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM



tg-me.com/machinelearning_interview/1541
Create:
Last Update:

🌟 Oumi: опСнсорс-Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊ ΠΏΠΎΠ»Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° для LLM.

Oumi - открытая ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ° для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ, Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½Π°, ΠΎΡ†Π΅Π½ΠΊΠΈ ΠΈ экспСримСнтов с языковыми ΠΈ ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠΌΠΎΠ΄Π°Π»ΡŒΠ½Ρ‹ΠΌΠΈ модСлями, созданная совмСстными усилиями исслСдоватСлСй ΠΈΠ· 13 Π²Π΅Π΄ΡƒΡ‰ΠΈΡ… унивСрситСтов.

Oumi прСдоставляСт инструмСнты ΠΈ Ρ€Π°Π±ΠΎΡ‡ΠΈΠ΅ процСссы для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ запуска ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Ρ… экспСримСнтов Π½Π° кластСрС, развСртывания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² Ρ€Π°Π±ΠΎΡ‡Π΅ΠΉ срСдС ΠΈ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ распрСдСлСнного обучСния (FSDP, DDP):

πŸŸ’ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈ Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΎΡ‚ 10M Π΄ΠΎ 405B ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΌΠ΅Ρ‚ΠΎΠ΄Π°ΠΌΠΈ SFT, LoRA, QLoRA ΠΈ DPO;
πŸŸ’ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΡƒ популярных сСмСйств ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ: Llama, DeepSeek, Qwen ΠΈ Phi;
πŸŸ’ΡΠΈΠ½Ρ‚Π΅Π· ΠΈ ΠΊΡƒΡ€ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… с использованиСм LLM-judge;
πŸŸ’Π±Ρ‹ΡΡ‚Ρ€ΠΎΠ΅ Ρ€Π°Π·Π²Π΅Ρ€Ρ‚Ρ‹Π²Π°Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² срСдах vLLM ΠΈ SGLang;
πŸŸ’ΠΏΡ€ΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ комплСксного Π±Π΅Π½Ρ‡ΠΌΠ°Ρ€ΠΊΠΈΠ½Π³Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΏΠΎ стандартным тСстам;
πŸŸ’Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ ΠΏΠΎ API OpenAI, Anthropic ΠΈ Vertex AI;
πŸŸ’ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Ρ†ΠΈΡ с Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΎΠΉ Transformers.

Π’ Ρ€Π΅ΠΏΠΎΠ·ΠΈΡ‚ΠΎΡ€ΠΈΠΈ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° собраны Π³ΠΎΡ‚ΠΎΠ²Ρ‹Π΅ Π½ΠΎΡƒΡ‚Π±ΡƒΠΊΠΈ ΠΈ скрипты для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΈΠ· этапов ΠΆΠΈΠ·Π½Π΅Π½Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, Π° подробная докумСнтация ΠΏΠΎ использованию ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ‚ Π»Π΅Π³ΠΊΠΎ ΠΎΡΠ²ΠΎΠΈΡ‚ΡŒ эту ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡƒ.

πŸ“ŒΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: Apache 2.0 License.


πŸŸ‘Π‘Ρ‚Π°Ρ‚ΡŒΡ
πŸŸ‘Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΡ
πŸŸ‘Π‘ΠΎΠΎΠ±Ρ‰Π΅ΡΡ‚Π²ΠΎ Π² Discord
πŸ–₯GitHub


@ai_machinelearning_big_data

#AI #ML #Oumi #Framework

BY Machine learning Interview





Share with your friend now:
tg-me.com/machinelearning_interview/1541

View MORE
Open in Telegram


Machine learning Interview Telegram | DID YOU KNOW?

Date: |

Telegram Auto-Delete Messages in Any Chat

Some messages aren’t supposed to last forever. There are some Telegram groups and conversations where it’s best if messages are automatically deleted in a day or a week. Here’s how to auto-delete messages in any Telegram chat. You can enable the auto-delete feature on a per-chat basis. It works for both one-on-one conversations and group chats. Previously, you needed to use the Secret Chat feature to automatically delete messages after a set time. At the time of writing, you can choose to automatically delete messages after a day or a week. Telegram starts the timer once they are sent, not after they are read. This won’t affect the messages that were sent before enabling the feature.

China’s stock markets are some of the largest in the world, with total market capitalization reaching RMB 79 trillion (US$12.2 trillion) in 2020. China’s stock markets are seen as a crucial tool for driving economic growth, in particular for financing the country’s rapidly growing high-tech sectors.Although traditionally closed off to overseas investors, China’s financial markets have gradually been loosening restrictions over the past couple of decades. At the same time, reforms have sought to make it easier for Chinese companies to list on onshore stock exchanges, and new programs have been launched in attempts to lure some of China’s most coveted overseas-listed companies back to the country.

Machine learning Interview from es


Telegram Machine learning Interview
FROM USA